github.com/nacmarino/maR

Recapitulando

  • Meta-AnĂ¡lise: "Ă© a anĂ¡lise estatĂ­stica de uma ampla coleĂ§Ă£o de resultados de estudos com o propĂ³sito de integrar a evidĂªncia disponĂ­vel". (Glass, 1976)

  • É essencial extrairmos uma mĂ©trica de tamanho de efeito e tambĂ©m a sua variĂ¢ncia, para que o peso de cada estudo seja proporcional Ă  sua precisĂ£o.
  • Com estas informações, queremos chegar a um valor que defina a direĂ§Ă£o e/ou magnitude de um efeito/padrĂ£o/processo, a incerteza associada a este valor e fontes que expliquem esta heterogeneidade.

Modelos para Meta-AnĂ¡lise

  • Existem diversos tipos de modelo para serem usados, cuja escolha:
    • Reflete o objetivo da meta-anĂ¡lise: estimar um efeito vs explorar heterogeneidade;
    • Define como as estimativas de cada estudo serĂ£o combinadas: todos os estudos sĂ£o iguais vs estudos diferem em sua 'qualidade';
    • Descreve as fontes de heterogeneidade entre estudos: erro amostral vs variaĂ§Ă£o entre estudos;
    • Determina o tipo de inferĂªncia que pode ser feita: populaĂ§Ă£o de estudos analisada vs todos os estudos, atĂ© os desconhecidos.
  • Desta forma, a escolha do modelo reflete o(s) objetivo(s) da sua meta-anĂ¡lise;
  • No geral, os modelos de meta-anĂ¡lise se dividem em dois grandes grupos: fixed-effects models e random-effects models.

Fixed-effects model

  • Usado para estimar a natureza de um efeito;
  • Baseado no pressuposto de normalidade;
  • Em um fixed-effects model, nĂ³s assumimos que:
    • Todos os estudos pertencem a uma mesma populaĂ§Ă£o e estĂ£o medindo a mesma coisa.
    • A variabilidade existente Ă© explicada unicamente por erro na amostragem em cada estudo;
    • Varibilidade causada por diferenças entre estudos Ă© Ă­nfima ou inexistente.
  • Exemplo de fixed-effects model:
    \(\mu\) = Ti + \(\epsilon\)i

Fixed-effects model

  • A incerteza na estimativa de cada estudo estĂ¡ contida dentro da variabilidade do efeito comum que estes estĂ£o medindo.
  • Generalizações sĂ£o restritas aos estudos incluĂ­dos na meta-anĂ¡lise.

  • Cada estudo entĂ£o contribui com uma estimativa do efeito real, que deve ser ponderado pela sua imprecisĂ£o ao medir este efeito.

Fixed-effects models

  • No geral, o peso de cada estudo (Wi) em uma meta-anĂ¡lise Ă© proporcional ao inverso de sua variĂ¢ncia (si): quanto maior variĂ¢ncia de um estudo, menor o seu peso ao estimar o efeito real.
    Wi = \(\frac{1}{s_i}\)
  • Neste sentido, o modelo de meta-anĂ¡lise Ă© semelhante Ă  uma weighted regression: o efeito real Ă© calculado com base em cada medida de effect size (ESi:di, LRRi, ri,…) e o peso associado Ă  ele (Wi).
    \(\mu\) = \(\frac{\Sigma ES_i W_i}{\Sigma W_i}\) (onde \(\mu\), Ă© o efeito efeito comum entre todos os estudos)
  • A variĂ¢ncia em torno de T (VT) Ă© dada por:
    VT = \(\frac{1}{\Sigma W_i}\)
  • Com isto, Ă© possĂ­vel calcular o intervalo de confiança ao redor de \(\mu\), assim como realizar testes de significĂ¢ncia com o valor estimado de \(\mu\) (que segue uma distribuiĂ§Ă£o normal):

95% CI = \(\mu\) ± 1.96 \(\sqrt{V_T}\)

z = \(\frac{\mu}{\sqrt{V_T}}\)

No R

  • Vamos usar novamente o pacote metafor, e explorar o conjunto de dados dat.bcg.
library(metafor)
dat <- escalc(measure="RR", ai=tpos, bi=tneg, ci=cpos, di=cneg, data=dat.bcg)
dat
trial author year tpos tneg cpos cneg ablat alloc yi vi
1 Aronson 1948 4 119 11 128 44 random -0.8893113 0.3255848
2 Ferguson & Simes 1949 6 300 29 274 55 random -1.5853887 0.1945811
3 Rosenthal et al 1960 3 228 11 209 42 random -1.3480731 0.4153680
4 Hart & Sutherland 1977 62 13536 248 12619 52 random -1.4415512 0.0200100
5 Frimodt-Moller et al 1973 33 5036 47 5761 13 alternate -0.2175473 0.0512102
6 Stein & Aronson 1953 180 1361 372 1079 44 alternate -0.7861156 0.0069056
7 Vandiviere et al 1973 8 2537 10 619 19 random -1.6208982 0.2230172
8 TPT Madras 1980 505 87886 499 87892 13 random 0.0119523 0.0039616
9 Coetzee & Berjak 1968 29 7470 45 7232 27 random -0.4694176 0.0564342
10 Rosenthal et al 1961 17 1699 65 1600 42 systematic -1.3713448 0.0730248
11 Comstock et al 1974 186 50448 141 27197 18 systematic -0.3393588 0.0124122
12 Comstock & Webster 1969 5 2493 3 2338 33 systematic 0.4459134 0.5325058
13 Comstock et al 1976 27 16886 29 17825 33 systematic -0.0173139 0.0714047

No R

  • A funĂ§Ă£o rma Ă© utilizada para ajustar os modelos de meta-anĂ¡lise no metafor.
  • method = "FE" diz para o metafor que vocĂª quer usar um fixed-effects model.
rma(yi = yi, vi = vi, data = dat, method = "FE")
## 
## Fixed-Effects Model (k = 13)
## 
## Test for Heterogeneity: 
## Q(df = 12) = 152.2330, p-val < .0001
## 
## Model Results:
## 
## estimate       se     zval     pval    ci.lb    ci.ub          
##  -0.4303   0.0405 -10.6247   <.0001  -0.5097  -0.3509      *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Random-effects model

  • Usado para estimar a natureza de um efeito;
  • Baseado no pressuposto de normalidade;
  • Em um random-effects model:
    • Estudos pertencem a diferentes subpopulações que compõem uma populaĂ§Ă£o maior: cada estudo estĂ¡ estimando o verdadeiro efeito em sua subpopulaĂ§Ă£o.
    • A variabilidade existente Ă© explicada por erro na amostragem em cada estudo e por diferenças entre estudos.
  • Em um random-effects model, temos dois componenetes de variĂ¢ncia:
    • VariĂ¢ncia dentro dos estudos: \(\epsilon\)i (within-study variance)
    • VariĂ¢ncia entre os estudos: \(\tau^2_i\) (between-study variance)
  • VocĂª Ă© capaz de explorar onde existe maior variĂ¢ncia nos resultados: dentro ou entre estudos - em outras palavras: consistĂªncia ou contingĂªncia.

Random-effects model

  • Em um random-effects model:
    Ti = \(\theta_i\) + \(\epsilon\)i (efeito real em cada estudo)

\(\mu\) = Ti + \(\tau^2_i\) (efeito combinado real)

Random-effects model

  • O efeito comum que os estudos estĂ£o medindo contĂ©m a variabilidade entre estudos e tambĂ©m dentro de cada estudo.
  • Isto afeta diretamente a estimativa do peso de cada estudo no modelo da meta-anĂ¡lise:
    Wi = \(\frac{1}{s_i + \tau^2}\)
  • Aqui, \(\tau^2\) representa o componente da heterogeneidade total que Ă© originĂ¡ria entre estudos (resoluĂ§Ă£o dos cĂ¡lculo para chegar a este valor estĂ¡ no Box 9.2, CapĂ­tulo 9 do livro de Meta-AnĂ¡lise).
  • Generalizações podem ser feitas aos estudos incluĂ­dos na meta-anĂ¡lise e tambĂ©m aqueles que sĂ£o deconhecidos.

No R

  • Usando novamente o conjunto de dados dat.bcg do pacote metafor, vamos ajustar um random-effects model tambĂ©m com a funĂ§Ă£o rma.
  • Neste caso, vocĂª nĂ£o precisa determinar o argumento method: por padrĂ£o, a funĂ§Ă£o usa REML.
rma(yi = yi, vi = vi, data = dat)
## 
## Random-Effects Model (k = 13; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.3132 (SE = 0.1664)
## tau (square root of estimated tau^2 value):      0.5597
## I^2 (total heterogeneity / total variability):   92.22%
## H^2 (total variability / sampling variability):  12.86
## 
## Test for Heterogeneity: 
## Q(df = 12) = 152.2330, p-val < .0001
## 
## Model Results:
## 
## estimate       se     zval     pval    ci.lb    ci.ub          
##  -0.7145   0.1798  -3.9744   <.0001  -1.0669  -0.3622      *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Fixed- vs Random-effects model

  • Qual modelo utilizar?
    • RE Ă© mais realĂ­stico Ă  meta-anĂ¡lises em ecologia, uma vez que Ă© impossĂ­vel replicar perfeitamente os experimentos e sistemas de estudos sĂ£o naturalmente diferentes;
    • No entanto, RE requer a estimativa de um parĂ¢metro adicional relacionado Ă  variĂ¢ncia entre estudos, que pode ter estimativa enviesada por pequeno tamanho amostral ou nĂºmero de estudos - uso de REML reduz um pouco este problema;
    • Por conta disso, intervalos de confiança estimados com RE models tendem a ser mais amplos do que aqueles estimados com FE models.

      Modelo Estimate SE CI.Inferior CI.Superior
      Fixed-effects model -0.43 0.04 -0.51 -0.35
      Random-effects model -0.71 0.18 -1.07 -0.36

  • Note que caso o \(\tau^2\) seja 0 (ou muito prĂ³ximo Ă  zero), a estimativa do peso de cada estudo Ă© reduzida Ă quela de um fixed-effects model;
  • Por conta disso, se vocĂª precisa, o ideal Ă© tentar um random-effects model e caso o valor de \(\tau^2\) seja baixo aĂ­ sim adotar um fixed-effects model.

Mixed-effects models

  • É utilizado quando queremos nĂ£o sĂ³ estimar um efeito, mas tambĂ©m explorar a heterogeneidade ao redor dele;
  • Acomoda uma fraĂ§Ă£o aleatĂ³ria da heterogeneidade (random-effects) - causada por variĂ¢ncia entre- e dentro- dos estudos -, assim como uma fraĂ§Ă£o fixa (caracterĂ­stica dos estudos que queremos explorar);
  • Neste sentido, ao invĂ©s de 'jogar' toda a heterogeneidade entre estudos para um termo de variĂ¢ncia, parte dela Ă© atribuĂ­da a moderadores (veremos mais sobre isso na prĂ³xima aula);
  • No R, basta usarmos a funĂ§Ă£o rma no metafor e especificar a variĂ¡vel que queremos analisar com o argumento mods;
  • VocĂª tambĂ©m pode buscar explorar a heterogeneidade ao redor da estimativa do efeito utilizando um fixed-effects model: basta especificar o argumento methods = "FE" na mesma estrutura do modelo abaixo.
dat3 <- rma(yi = yi, vi = vi, data = dat, mods = ~alloc)

No R

## 
## Mixed-Effects Model (k = 13; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of residual heterogeneity):     0.3615 (SE = 0.2111)
## tau (square root of estimated tau^2 value):             0.6013
## I^2 (residual heterogeneity / unaccounted variability): 88.77%
## H^2 (unaccounted variability / sampling variability):   8.91
## R^2 (amount of heterogeneity accounted for):            0.00%
## 
## Test for Residual Heterogeneity: 
## QE(df = 10) = 132.3676, p-val < .0001
## 
## Test of Moderators (coefficient(s) 2,3): 
## QM(df = 2) = 1.7675, p-val = 0.4132
## 
## Model Results:
## 
##                  estimate      se     zval    pval    ci.lb   ci.ub   
## intrcpt           -0.5180  0.4412  -1.1740  0.2404  -1.3827  0.3468   
## allocrandom       -0.4478  0.5158  -0.8682  0.3853  -1.4588  0.5632   
## allocsystematic    0.0890  0.5600   0.1590  0.8737  -1.0086  1.1867   
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Outros modelos mais complexos

  • Existem outros tipos de modelos de meta-anĂ¡lise que vocĂª pode encontrar por aĂ­:
    • Meta-RegressĂ£o: Ă© mais uma terminologia para representar os modelos em que a heterogeneidade Ă© explicada por variĂ¡veis contĂ­nuas (embora algumas pessoas tambĂ©m usem este termo quando usam variĂ¡veis categĂ³ricas);
    • Modelo HierĂ¡rquico ou Multivariado: usado quando estrutura Ă© similar Ă  uma ANOVA aninhada ou quando existe correlaĂ§Ă£o entre as observações. Em alguns casos, vocĂª acaba fazendo este tipo de modelo de forma artificial para explorar heterogeneidade em subgrupos dentro dos grupos testados (no R: rma.mv).
    • Modelo Fatorial: usado quando a meta-anĂ¡lise segue um desenho fatorial.
    • Modelo via Generalized Linear (Mixed-Effects) Models: similar aos fixed-, random- e mixed-effects model, mas permite usar outras famĂ­lias de distribuiĂ§Ă£o de variĂ¡veis aleatĂ³rias (no R: rma.glmm).

Observações

  • No R, o metafor encara que cada linha pertence Ă  um estudo distinto - o que muitas vezes nĂ£o Ă© o caso (um estudo com mĂºltiplas observações). Se vocĂª quiser especificar que a hierarquia das observações estĂ¡ no nĂ­vel do estudo (e nĂ£o do da observaĂ§Ă£o) vocĂª pode usar a funĂ§Ă£o rma.mv e especificar o argumento random = ~ 1|estudo:
rma.mv(yi = yi, V = vi, mods = ~alloc, random = ~1|trial, data = dat)
  • VocĂª tambĂ©m pode adicionar uma estrutura de correlaĂ§Ă£o Ă s duas observações utilizando o argumento random na funĂ§Ă£o rma.mv; neste caso, o nĂ­vel que define a estrutura da correlaĂ§Ă£o vem no lado esquerdo do argumento:
rma.mv(yi = yi, V = vi, mods = ~alloc, random = ~author|trial, data = dat)
  • VocĂª tambĂ©m pode rodar os modelos meta-analĂ­ticos usando as funções lme (pacote nlme) e lmer (pacote lme4), utilizando o argumento weights para determinar o peso de cada observaĂ§Ă£o/estudo.

SĂ³ para ficar didĂ¡tico

Resumindo

  • Existem diversos tipos de modelos que podem ser usados em uma meta-anĂ¡lise, cada um com um tipo de caracterĂ­stica e uso prĂ³prio;
  • NĂ£o existe o melhor modelo para a sua meta-anĂ¡lise, mas sim o modelo que descreve melhor seus objetivos e perguntas;
  • Independente do modelo que vocĂª use, Ă© boa prĂ¡tica ponderar cada observaĂ§Ă£o/estudo pelo inverso de sua variĂ¢ncia.

Literatura Recomendada

  1. Nakagawa & Santos, 2012, Evol Ecol, Methodological issues and advances in biological meta-analysis

  2. Harrison, 2011, Methods Ecol Evol, Getting started with meta-analysis

  3. Mengersen et al, 2013, Statistical models and approaches to inference, In: Handbook of meta-analysis in ecology and evolution (CapĂ­tulo 8)

  4. Rosenberg, 2013, Moment and least-squares based approaches to meta-analytic inference, In: Handbook of meta-analysis in ecology and evolution (CapĂ­tulo 9)

  5. Mengersen & Schmid, 2013, Maximum likelihood approaches to meta-analysis, In: Handbook of meta-analysis in ecology and evolution (CapĂ­tulo 10)